Necessary or Sufficient? Evaluating LLM Explanations With Behavioural Evidence
评估LLM解释的必要性与充分性：基于行为证据
🧭 LLM解释可靠性评估 · 黑盒干预
BNY
用黑盒干预度量LLM解释因子的必要性与充分性，发现Top-3因子与行为影响仅中等相关且漏报明显
📌 工作参考价值（4 点）
- 对带解释的LLM推荐/决策组件不要直接信任其cited factors：落地前用离线黑盒干预抽检，分别计算必要性（改因子输出变）和充分性（只留因子输出不变），用Spearman相关与未引用因子超越率做健康度指标。
- 在Agent oversight或风险提示场景，可把这类行为证据测试做成回归评估：每次prompt或模型版本更新后跑一批case，若Top-3因子与实际影响相关性明显下降，说明解释质量漂移，需触发人工审查。
- 电商推荐/广告中若用LLM生成“为什么推荐该商品/广告”的解释，可借鉴充分性分数筛选真正稳定的因子；充分性高的因子更适合作为后续规则、动态定价或供给控制的依据，而不是直接相信模型口述的原因。
- 模型给出的Top-3因子漏报率较高（advisor场景约58%），因此除Top-3外应保留更多候选因子并通过干预分数排序，再决定哪些进入监控或诊断面板。